Proving and Improving the Platonic Representation Hypothesis with JEPAs
用 JEPA 证明并改进柏拉图表征假说
🧭 多模态表示对齐 · JEPA 理论
Brown University · New York University · AMI Labs
证明基于“好视图”的 JEPA 可跨模态对齐表征，且比 next-token 高效 42 倍
📌 工作参考价值（4 点）
- 多模态商品/内容塔可尝试用 JEPA 式“同一商品/场景的两个视图”构造正对，替代或辅助 CLIP 式图文对比，降低对大规模成对数据的依赖。
- 正对质量优先于数据规模：在电商语料中构造标题 vs 属性描述、原图 vs 增强视图等 good views，可能以远小于 next-token 预训练的样本量获得跨模态对齐，节省训练成本。
- 文本塔单独自监督训练后仅需学习一个旋转矩阵即可实现图像-文本检索/文案生成，适合为商品图生成短描述或跨模态召回。
- 若业务中有不成对的图文/视频/行为数据，可借鉴其 pair-free 零样本评测思路，验证表征对齐是否足够支撑下游任务。